Các cấu trúc thời đế chế La Mã nằm ở Umm al-Zaytun.[7] Đặc biệt là những tàn tích của một tòa nhà tôn giáo với mặt tiền bằng đá lớn và một căn phòng có hốc phù hợp với các bức tượng.[7] Dòng chữ được tìm thấy tại tòa nhà có niên đại lên tới 282 CE và đề cập và mô tả tòa nhà là một " kalybe thiêng liêng".[7] Loại công trình này tương đối độc đáo ở Syria, chỉ được tìm thấy ở Umm al-Zaytun và Shaqqa và Hayyat gần đó.[7]